﻿ MODELE LINIARE Foarte multe probleme de estimare se referă la modele liniare de semnal Vom considera, pentru exemplificare, cazul în care semnalul util A+Bn, cu parametrii necunoscuţi A și B, este afectat de zgomotul alb, gaussian, w[n] Secvenţa de date, accesibilă măsurării, x[n], este 2 xn A Bn wn wn n Nσ=+ + = −∼N; 0, ; 0,1, , 1 [][][] () Dând lui n toate cele N valori, obţinem un set de N ecuaţii 0: 0 0 0nxABw== +⋅+ [][] 1: 1 1 1nxABw== +⋅+ [] [] 2: 2 2 2nxABw== +⋅+ [] [] 1: 1 1 1nN xN ABN wN=− −=+⋅ −+ − ()() [] 1 care pot fi rescrise sub formă matriceală 0010wx⎡ ⎤ ⎡⎤ [] [] ⎡⎤ ⎢⎥ ⎢⎥ ⎢⎥ 1111wx [] [] ⎢⎥ ⎢⎥ A⎢⎥ ⎡⎤ ⎥ ⎢⎥ 2212wx⎢ =+ ⎢⎥ [] [] ⎢⎥ B⎢ ⎥ ⎢⎥ ⎢⎥ ⎣⎦ ⎢⎥ ⎢⎥ ⎢⎥ θ 21× ⎥ ⎢⎥ ⎢⎥ − 1111wNxNN⎢ − − () [] ⎣⎦ ⎣⎦ ⎣⎦ Hxw 112NNN× × × vectorul parametrilor necunoscuţi fiind T AB=θ [] Utilizând notaţia matriceală obişnuită, modelul de semal x poate fi pus sub forma 2 ; ,σ=+xHθ ww 0I∼N () u în care w, ce are componentele IID, are matricea de covarianţă de formă 2 diagonală Matricea H se numește “matrice de observare” 1 Ne punem problema dacă există sau nu există un estimator MVU eficient pentru vectorul parametrilor din modelul liniar de date Reamintim că, pentru existenţa estimatorului MVU eficient, este necesar şi suficient să avem (revezi teorema Cramer=Rao) lnp∂x;θ () ⎤ =− f⎡I θx θ () () ⎣⎦ ∂ θ estimatorul fiind ˆ f=θx () ce are matricea de covarianţă 1− =CIθ () ˆ θ Vectorul x este gaussian deoarece provine dintr-o transformare afină a vectorului gaussian w Pentru a preciza distribuţia vectorului x de date este deci suficientă deteminarea mediei şi a matricei sale de covarianţă, identică cu a zgomotului Avem EE E E== += +μ xHθwHθw {}{}{}{} =Hθ 0Hθ =+3 11T⎧ ⎫ expp=− x;θxHθxHθ −− ()()() ⎬ 2N⎨ 2σ ⎩⎭ 2πσ () Înlocuind valorile măsurate ale componentelor vectorului de date x se obţine funcţia de plauzibilitate Logaritmând găsim că 1T =− − − −x;θxHθxHθ ln ln 2pNπσ ()()() () 2 2σ şi după derivarea în raport cu vectorul θ rezultă x;θ ln1p∂ () T T TT TT∂ xx xHθθHxθ HHθ =− − − + () 2 θθ ∂∂ 2σ Un scalar este neafectat de transpunere, aşa că T TT TTT =⇒ =xHθxHθθHx xHθ () motiv pentru care avem x;θ ln1p∂ () TT TT∂ 2=− − +xx xHθθHHθ () 2 ∂∂θθ 2σ 4 2 În literatura de specialitate se dau următoarele reguli de derivare ∂ TT T∂ ==θAθA θAA2 , pentru =bθ b() () ∂θ ∂θ Aplicăm aceste reguli de calcul şi obţinem T TTT∂∂ ==xHθHx θ Hx ()() ∂∂θθ TT T∂ 2=θHHθHHθ () ∂θ deoarece este îndeplinită condiţia cerută de regula a doua de derivare T TT =HH HH () Substituim aceste rezultate în expresia derivatei şi obţinem 1lnTp− x;θ () HH ⎡⎤ TT∂ =− HH Hxθ () 2⎢ ⎥ 5σ θ ∂ ⎣⎦ Reamintim că existenţa unui estimator MVU eficient este condiţionată de faptul că putem pune derivata sub forma lnp∂ x;θ () ⎤ =− f⎡ I θx θ () () ⎣⎦ ∂ θ Analizând forma derivatei stabilite de noi pentru modelul liniar, forţând un factor comun pentru a lăsa parametrul θ singur, obţinem 1lnTp− x;θ () HH ⎡⎤ TT∂ =− HH Hxθ () 2⎢ ⎥ ∂ θ ⎣⎦ σ Tot ca rezultat al aplicării teoremei Cramer-Rao rezultă, prin identificare, estimatorul şi matricea sa de covarianţă 1− 1− ˆTT12T− ==CIθHH =θHH Hx() () () ˆσ θ Vom arăta că estimatorul este nedeplasat Mai întâi îi modificăm expresia 11−− ˆTTTT θHH Hx HH H Hθw == + () ()() 11−− TT TT HH HHθHH Hw =+ ()()() 1− TT θHH Hw =+ () 6 3 Deoarece zgomotul w este de medie nulă avem 11−− TT TT EE==HH Hw HH H w 0 {} ()() {} Mediind forma modificată a estimatorului şi ţinând seama de media de mai sus obţinem imediat ˆ E= θθ {} ceeace înseamnă că estimatorul dedus este nedeplasat Deoarece satisface cerinţele teoremei Cramer-Rao este de tip MVU, eficient Estimatorul vector are o repartiţie gaussiană 1− 2T⎛⎞ ˆ ,σ N θθHH∼ () ⎜⎟ ⎝⎠ Este posibil să fim interesaţi de estimarea semnalului =sHθ şi nu de estimarea vectorului de parametri necunoscuţi În acest caz, estimatorul MVU eficient, pentru semnalul util este 1− 7ˆTT ˆ== sHθHHH Hx () Estimatorul pentru vectorul θ este o funcţie liniară de vectorul gaussian de date x, deci este gaussian Aceeași observaţie se face pentru estimatorul de semnal, s Media sa este Hθ Matricea de covarianţă a estimatorului pentru semnal se poate deduce prin calcul direct T ˆˆ =CHθHθ HθHθ ()() {}ˆsE−− T ˆˆT HθθθθH E−− = ()() {} T ˆˆT −H θθθθH E=− ()() {} T HC H =ˆ θ 1− 2TT σ =HHH H () Putem deci afirma că 1− 2TT⎛⎞ ˆ,σ sHθHHH H∼ N ⎜⎟ () 8⎝⎠ 4 Exemple de aplicare ale modelului liniar Trasarea unei curbe polinomiale printre puncte În unele situaţii căutăm o relaţie matematică între două mărimi, măsurate experimental în mai multe puncte Măsurătorile pot fi, din multiple cauze, afectate de zgomot, de erori de măsurare ş a pe care le modelăm printr-un zgomot alb, gaussian Dacă ne referim la situaţia expusă în figură modelul acceptat pentru datele măsurate x(t) este xtstwt=+ ()()() Pentru semnalul util, s(t), se prezumă, din considerente pertinente modelul 2 stttθθθ=+ + () 12 3 Cu perechile t,x(t) se formează N relaţii 92 , 0,1, , 1xt t t wt n Nθθ θ=+ + + = − ()() 12 3nnnn parametrii necunoscuţi fiind cele 3 valori pentru θ Explicităm cele N relaţii 2 θ=+ + + ()() 012030 0xt t t wtθθ 2 θ=+ + + () () 112131 1xt t t wtθθ 2 θ=+ + + () () 212232 2xt t t wtθθ 2 θ=+ + + () () −−−− 112131 1NNNNxt t t wtθθ Aceste N ecuaţii se rescriu sub forma 2 1ttxt wt⎡⎤ ⎡ ⎤ ()() 0000⎡⎤ ⎢⎥ ⎢ ⎥ 2⎢⎥ 1ttxt wtθ ⎢⎥ ()() ⎢⎥ ⎢ ⎥ 11111⎡⎤ ⎢⎥ 2⎢⎥ ⎢⎥ ⎢ ⎥ θ =+ ()() 222221xt wttt⎢⎥ ⎢⎥ ⎢⎥ ⎢ ⎥ ⎢⎥ ⎢⎥ θ ⎢ ⎥ 3⎢⎥ ⎣⎦ ⎢⎥ ⎢ ⎥ 2⎢⎥ xt wtθ ()() ⎢⎥ 111NNtt−− ⎣⎦ ⎣ ⎦ 11NN−− ⎣⎦ 10xw H 5 sau, cu notaţiile matriceale obişnuite x=Hθ +w Pentru un caz mai general, polinomul de aproximare al semnalului s(t) are gradul p-1, parametrii necunoscuţi fiind cei p coeficienţi ai polinomului 12p− , 0,1, , 1 xt t t t wt n Nθθ θ θ=+ + + = −++ ()() 12 3nnnpnn În această situaţie matricea H are forma 12p− ⎡⎤ 00 01tt t ⎢⎥ 12p− ⎥ 11 11tt t⎢ ⎢⎥ 12p− H = ⎥ 22 21tt t⎢ ⎢⎥ ⎢⎥ 12p− ⎢⎥ 11 11NN Ntt t− −− ⎣⎦ Conform cu formula estimatorului pentru modelul liniar, stabilită anterior 1− ˆTT =θHH Hx () 11 După ce au fost estimaţi parametrii θ se poate estima semnalul s(t) cu relaţia p 1i− ˆ ˆsttθ = () i∑ 1i= ANALIZA FOURIER A DATELOR Considerăm un semnal util, compus din M armonice ale fundamentalei 1/N Numărul N de eşantioane de semnal este considerat a fi par Pentru respectarea teoremei de eşantionare e necesar să avem N>2M MM 22kkππ cos sin ;xn a n b n wn=+ + [][] kk∑∑ 11kkNN== nN=− 0,1, , 1 1 < ; 1, 2, , si / 2fk k M MN== k N Zgomotul w[n] se consideră a fi de tipul alb, gaussian Parametrii necunoscuţi sunt amplitudinile armonicelor, în număr de 2M, şi sunt grupaţi în vectorul θ T 12 aa a bb b= θ ⎡⎤ 12 12MM⎣⎦ 6 Cele N relaţii se pot pune sub forma ++ [] 120 Mxaa a=+ 24 2Mπππ ++ + [] 121 cos cos cosMxa a a=+ NN N 24 2Mππ π ++ + [] 12 sin sin sin 1Mbb b w++ NN N 24 2Mππ π ++ + [] 122 cos 2 cos 2 cos 2Mxa a a=+ NN N 24 2Mππ π ++ + [] 12 sin 2 sin 2 sin 2 2Mbb b w++ NN N 24ππ = −+ −+ ()() [] 121 cos 1 cos 1xN a N a N− NN 22 4Mππ π + −+ −+ ()()() 121 cos sin 1 sin 1MaN b N b N+− NNN 2Mπ 1sin 1bN wN+− +− ⎡⎤ ()() 13M⎣⎦ N şi pot fi rescrise matriceal ⎡ ⎤ 00xw⎡⎤ [ []] ⎢⎥⎢ ⎥ 11xw [][] ⎢⎥⎢ ⎥ ⎢ ⎥ =+ 22xw⎢⎥ [][] ⎢⎥⎢ ⎥ ⎢⎥⎢ ⎥ ⎢ ⎥ 11xN wN⎢⎥ −− [][] ⎣⎦⎣ ⎦ xw 1100⎡⎤ ⎢⎥ ππ 2222MMππ 1a⎡⎤ cos cos sin sin⎢⎥ ⎢⎥ NNNN⎢⎥ ⎢⎥ ⎢⎥ ππ 2222MMππ ⎢⎥ cos 2 cos 2 sin 2 sin 2⎢⎥ Ma NNNN⎢⎥ ⎢⎥ 1b⎢⎥ ⎢⎥ ⎢⎥ ⎢⎥ π 22 22MMππ π ⎢⎥ ()()()−− − cos 1 sin 1 sin 1cos 1NN NN⎢⎥ − () Mb⎢⎥ ⎣⎦ NN NN⎢⎥ ⎢⎥ hh hhθ 121MMM+ ⎣⎦ 14 H 7 sau, cu notaţiile matriceale uzuale x=Hθ +w matricea H fiind costituită din 2M vectori coloană, h Hhh h ⎡⎤ 12 2M= ⎣⎦ Aceşti vectori coloană sunt liniar independenţi, fapt ce se verifică prin calcul direct Pătratul normei lor este N/2 Drept urmare obţinem că matricea T h 1⎡⎤ T⎢⎥ 2Th ⎢⎥ hh hHH [] 12 2M= ⎢⎥ T⎢⎥ h 2M⎣⎦ TT T hh hh hh ⎡⎤ 11 12 12/2 0 0MN⎡⎤ TT T⎢⎥ ⎢⎥ hh hh hh 21 22 220/2 0MN⎢⎥ ⎥ ⎢ == ⎢⎥ ⎢⎥ ⎢⎥ TT T⎢⎥ hh hh hh ⎣⎦ 21 22 2200 /2MM MMN⎢⎥ ⎣⎦ 15N = uI 2 este inversabilă şi are inversa 1− 2 T HH I () u= N Substituim în expresia estimatorului rezultatele anterioare 122− ˆTT T T =θHH Hx IHx Hx () u== NN TT hhx ⎡ ⎤ 11⎡⎤ ⎢ ⎥ TT⎢⎥ 2222hhx ⎢ ⎥ ⎢⎥ ==x NN⎢⎥ ⎢ ⎥ ⎢ ⎥ TT⎢⎥ hhx ⎣ ⎦ 22MM⎣⎦ Se deduc, în final, expresiile estimatorilor pentru amplitudinile componentelor armonice 1N− 22 2kπ ˆcos ;axnn== hx [] kk∑ 0nNN N= 1N− 22 2kπ ˆ 16[] hx sinbxnn== kk∑ 0nNN N= 8 Estimatorii sunt nedeplasați, ceeace se poate verifica prin calcul direct ˆ ˆEa a= {} Ebb= } kk{ kk Matricea de covarianță a vectorului estimator se obține din formula stabilită, substituind inversa matricei produs 1− 22T ==CHH I () () ˆ2uNσσ θ Se găsesc limitele inferioare Cramer-Rao pentru estimatori Deoarece estimatorul vector este, pentru modelul liniar, eficient, disperiile egalează CRLB 2ˆ ˆ2Disp a Disp b Nσ == {} {} kk Vom aborda acum un un caz mai simplu, în care este prezentă o singură armonică în datele x[n] cos 2 sin 2xna fnb fnwnππ=++ [][] kkkk/fkN= k Puterea acestei componente armonice este 22 2Pab=+ () kk Un estimator “natural” pentru această putere pare a fi 1722ˆ ˆ ˆ2Pab=+ () kk Repartițiile estimatorilor amplitudinilor componentelor spectrale sunt 22 ⎛⎞ ⎛⎞ 2σ 2σ ˆ ˆ,aa∼ N N ,bb⎜⎟ kk⎜⎟ kk∼ NN ⎝⎠ ⎝⎠ Analizăm faptul dacă estimatorul puterii, introdus de noi, este sau nu este deplasat Avem 2211ˆˆ ˆEPEa Eb=+ {} {} {} kk 22 cu repartiția Reamintim că pentru o variabilă aleatoare normală, ξ, ,EDispξξξ∼N {}{} () este valabilă relația 2 2 EEDispξξξ=+ {}{} () {} cu aplicarea căreia rezultă 22 σ 22 2222ˆσ Ea a Eb b=+ˆ =+ {} {} kk kk NN În final media estimatorului considerat se calculează cu relația 2222 + 22abσσ ˆkk EP P=+=+ 18{} 2NN 9 Se observă că estimatorul este deplasat Se poate afirma că, asimptotic, este nedeplasat Se mai știe că 22 2 42Disp E Disp Dispξξξ ξ=+ {}{} {} ()() {} formulă care permite estimarea dispersiei estimatorilor pentru așib 242 2 ⎛⎞ σσ σ 22 2248σ ˆ42Disp a a a=+ =+ {} 2kk k⎜⎟ NNNN ⎝⎠ 242 2 ⎛⎞ σ σ 22 2248ˆσσ 42Disp b b b=+ =+ {} 2kk k⎜⎟ NNNN ⎝⎠ În consecință, dispersia estimatorului introdus pentru puterea componentei armonice este 2211ˆ ˆ ˆDisp P Disp a Disp b=+ {}{} {} kk 44 2222 ⎛⎞⎛⎞ σσ σ 22224σ ab P=+ =+ ⎜⎟⎜⎟ kk+ NNNN ⎝⎠ 19⎝⎠ Media și dispersia estimatorului pentru putere au dimensiunile 242 ˆˆ⎡⎤ ⎤ == EP Volt Ohm Disp P V Ohm ⎡ {}{} ⎣⎦ ⎣ ⎦ O mărime adimensională ce poate caracteriza “detectabilitatea” sinusoidei din zgomot este raportul 222 22ˆ 2EPNP NVolt Ohmσ + ⎡⎤ {} () () ⎣⎦ r== 4222 ˆ ⎡⎤ Volt OhmDisp P P Nσσ 4+ {}() ⎣⎦ Dacă P=0, adică sinusoida nu e prezentă în zgomot, raportul este r=1 Dacă însă sinusoida e prezentă iar raportul semnal/zgomot, SNR, 2 /2 /SNR P N==ησ () este mult supraunitar, raportul se poate aproxima cu NP N P 1r≅= 22 242σσ Prin urmare, dacă r este mult supraunitar, sinusoida se detectează ușor din 20 zgomot 10 O GENERALIZARE A MODELULUI LINIAR Modelul liniar studiat până acum considera că zgomotul este alb, gaussian Modelul liniar se poate generaliza în sensul că se poate admite că zgomotul este colorat, având o matrice de covarianță C Repartiția vectorului de zgomot w este ,w0C∼N () În literatura de specialitate se arată că densitatea de probabilitate a vectorului de date x este ⎧⎫ 111T− −− x;θxHθ CxHθ expp=− ()()() ⎬ 1N⎨ 2⎩⎭ 222π C () După înlocuirea datelor x se obține funcția de plauzibilitate, ce depinde doar de vectorul parametrilor necunoscuți, θ Pentru derivare procedăm astfel x;θ ∂ () ∂ 111ln1TTTTp−−− ⎤ xC x θHC xθ HC Hθ =− − + 2⎡ ⎦ ∂∂θθ 2⎣ ∂∂ ⎡⎤ 111TTT−− − + 2=− xC HθθHC Hθ ()() ∂∂ 2⎢⎥ θθ ⎣⎦ T∂∂ ⎡⎤ 21111TTT−− 2=− − + HC xθθHC Hθ ()() 2⎢⎥ ∂∂θθ ⎣⎦ Efectuăm operațiunile de derivare și“forțăm” forma cerută de teorema Cramer-Rao x;θ ∂ () 11lnTTp−− HC x HC Hθ =− θ ∂ 1− 11 1TT T−− − ⎡⎤ − HC H HC H HC xθ = () ⎢⎥ ⎣⎦ ˆ⎡⎤ Iθθθ =− () ⎣⎦ Prin identificare obținem expresia estimatorului pentru modelul liniar generalizat 1− 11TT− ˆ− =θHC H HC x () și matricea sa de covarianță 1− 1T− =CHCH () ˆ θ Atât matricea de covarianță cât și inversa ei sunt matrice pozitiv semidefinite Pentru orice matrice pozitiv semidefinită, deci și pentru inversa covarianței , se poate scrie o expresie de forma 1T− =CDD NN NN NN× ×× fiind o matrice inversabilă22D 11 Dacă se aplică zgomotului colorat w prelucrarea de semnal definită de matricea D se obține un zgomot w’ având matricea de covarianță TTT T T EEE==Dw Dw Dww D D ww D ()() {}{} {} 1− TTT == DCD D D D D () 1T− 111TT−−− == DD D D DD DD () ()() T = II I uu u= In concluzie zgomotul colorat w este transformat, prin prelucrare cu matricea D, într-un zgomot alb, cu dispersia unitară Operația realizată prin matricea D se numește “albire” iar matricea D se numește “matrice de albire” , ,⇒=w0C wDw0I'∼∼NN ()() u În consecință, modelul liniar generalizat , ,=+xHθ ww 0C∼N () se poate transforma într-un model liniar “clasic”, transformând datele x în datele x’ prin “albire” cu matricea D ++== =xDxDHθDw Hθ ww0I''''∼N ,; ) 23( u Matricea de observare se transformă și ea prin prelucrare cu matricea D =HDH' Aplicând formula de la modelul liniar “clasic” estimatorul este 1− ˆTT θ HH Hx '' ''= () 1− TT =DH DH DH Dx ⎡⎤ ()()()() ⎣⎦ 1− TT TT =HDDH HDDx ⎡⎤ () () ⎣⎦ 1− 11TT−− HC H HC x = () Tot așa se poate determina și matricea de covarianță, plecând de la modelul liniar “clasic” 11− T− T ⎡⎤ CHH DHDH ()() () ˆ''== θ ⎣⎦ 1− TT ⎤ HDDH ⎡ = () ⎣⎦ 1− 1T− HC H = () 24 12